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Abstract of EP1 235424 

The method involves acquiring images of an J?IG*3 

object in a time sequence using an electronic ■ ■ 1 ■ * 1 

camera and performing lateral displacements 
between the camera and the object image 
between acquisitions. The images are combined 
to produce a high-resolution combined image. 
Signals associated with the image points of the 
images acquired at different times are amplified 
with gain factors dependent on the time intervals 
between the relevant image acquisitions. 
Independent claims are also included for the 
following: a fluorescence microscope^a computer 
system and a computer program product for - 
implementing the method. 
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(54) Verfahren zur Aufzeichnung und Darstellung von Fluoreszenzbildern mit hoher raumlicher 
Auflosung 



(57) Die Erfindung betrifft ein Verfahren zur Auf- 
zeichnung und Darstellung von Fluoreszenzbildern mit 
hoher raumlicher Auflosung. Es werden mehrere Auf- 
nahmen eines Bildes eines Objektes zeitlich sequentiell 
mit einer eiektronischen Kamera aufgenommen und 
zwischen den Aufnahmen laterale Verschiebungen zwi- 
schen dem Bild des Objektes und der eiektronischen 
Kamera vorgenommen. Die Aufnahmen werden nach- 
folgend zu einem zusammengesetzten Bild hoherer 



raumlicher Auflosung vereinigt. Vor oder nach der Ver- 
einigung der Teilbilder werden die zu Bildpunkten der 
Bilder gehorigen Signale, die zu unterschiedlichen Zei- 
ten gewonnen werden, mit Verstarkungsfaktoren ver- 
starkt, die von den Zeitabstanden zwischen den betref- 
fenden Bildaufnahmen abhangen und im wesentlichen 
reziprok zur Zeitabhangigkeit der Fluoreszenz sind. Ar- 
tefakte durch mit der Zeit abnehmende Fluoreszenzin- 
tensitaten (Fading, Bleaching) werden dadurch vermie- 
den. 
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Beschreibung 



[0001] Die Aufnahme von Bildern. insbesondere Fluoreszenzbildern in der Mikroskopie erfolgt heute vielfach mittels 
? T V ^T 6 ' 38 WIS CCD " Kameras Daf " r werden heute Kameras in unterschiedlicher BaufoSn und mTunterscS 

dsende 2 i LTk " ^ " ™ ^ A^ahmequalitat zu erreichen. Hochauf 

losended.gitale Kameras, m,t entsprechend hoherer ortlicher Auflosung benotigen eine ausreichende Belichtunaszeit 
zur Redukt.cn des Bildrauschens pro Bildpunkt. Weiter Unterschiede liegen in der Art der Farbaufnahme mSSJSS 
rnnS o FarbfNtem im LiChtW69 U " d SOmit ss ^ntieller °der paralleler Aufnahme der FarbkanalT 
[ ? , I f uf parallelen Auf nahme von Farbbildern mit drei Farbkanalen eines 1 -Chip-Sensors besteht das arund- 
satzhche Problem, daB die eigentlich vorhandene Auflosung des Sensors duroh die aufgebrachte FaSmaske Se- 
s ens ha.b.ert w.rd. Dabei befindet sioh beispielsweise auf der einen Halfte der lichtempfindlichen Ete^teTS) 
erne grune Maske; die andere Halfte wird zu g.eichen Teilen zwischen rot und blau aufgeteilt. Entsprechend reduziert 
s,ch d.e verfugbare Ortsauflosung in den jewei.igen spektralen Kanalen. Urn ein Farbbild mit der BasisauJlosung des 
CCD-.ensors zu erzeugen, wird in der Regel bei derartigen Kameras eine mathematische Interpolation zwischen den 
gemes.-jenen Bildpunkten angewendet. H ^wiscnen oen 

EES DUf T ^ 'V 6 ' ° E 38 37 063 C ' beschriebene Verfahren, dem so genannten "Color-Co-Site-Sampling- 
h r r n ; Selin9 ' 6S ' T dUrch die Farb ^ke bedingten Auflosungsver.ust vollstandig zu kompensieren. Dazu wind 
der CCD-Sensor durch eine hochprazise Piezomechanik relativ zu dem aufzuzeichnenden Bild derart verschoben 
daB nache.nander jewe.ls an unterschiedlicher Position kompletteTeilbildermit den drei Farbkanalen (R-G-B) aufqe- 
ze.chne werden. Durch anschlieBende Verschachtelung der zeitlich sequentiell aufgezeichneten Teilb Ider wird dann 
ohne lnterpolat.cn e.n Gesamtbild erstellt. Die Verschiebung erfolgt dabei abhangig von der Farbmaske so daB e^n 

lo 4 r S n' be h PUnkt " naCheinander VOn den drei Fa *kana,en (z.B. 2x grun " x rot und 1 x b,Tu Tett^n wirJ 

[0004] Durch e.n zusatzhches Microscanning kann die Abtastung eines Bildes in beiden Richtungen urn bis zu einem 
Faktor dre. erhoht werden. Entsprechend wird die Anzahl der aufgenommenen Bildpunkte urn bis zu einem weiteren 
moos, " n " ?.m 98rt - eine .^ tere Stei * e ™9 dsr Abtastung ist wegen der endlichen Appretur nicht sinnvoll. 
SSn h 7 oscannin 9 " Technik zur S.eigerung der Auflosung bedingt jedoch , daB ein Bild P aus mehreren 
nachemander aufgenommenen Te.lbildern P n zusammengesetzt wind. Somit ist das Verfahren gegenuber Bewegunoen 
des Objekts oderVeranderungen der Leuchtkraft empfindlich. Bei der Aufnahme von Fluorszenzbildern ist dTStTt 
der Hell.gkeit des Objekts ein Problem. Durch die die F.uoreszenz anregende Be.euchtung, erfahrt d^p'apaSt e e 
Ausb e.chung, e.n sogenanntes "Photo Bleaching" und somit eine Abnahme der Intensitat der Fluoreszenz ein soqe 
rflL , 9 h ? dieZusammensetzung der nacheinander aufgenommenen Teilbilder treten dann Artefakte im 
^ZZ^LT* unterschied,ichen H-reszenzintensita,en der zeit.ich sequentiel. aufgenommenen Te" 



[0006] Zur Bese.t.gung von Fading-Artefakten bei der Zusammensetzung zeitlich sequentiell aufgenommenerTeil- 

F uo 6 ^ " T V US " A US *" US * 5 682 567 bekannt < die von Bild 2U B » d abnehme'ndeZens'at der 
Fluoreszenz durch eine entsprechende Verlangerung der Aufnahmezeit zu kompensieren. Die dafur erforderliche Kor- 
rektur der Bel.chtungszeit wird dabei jewei.s vor der Datenacquisition bestimmt. Die Artefakte im zusammengesLten 
BNd I werden jedoch nurdann vermieden, wenn die Fluoreszenzintensitaten tatsachlich dem Gesetz gehorcht das der 
Berechnung der korngierten Belichtungszeiten zu Grunde gelegt ist 

[0007] Ziel der vorliegenden Erfindung ist es, ein Verfahren zur Aufnahme und Wiedergabe von Fluoreszenzbildern 
I ^ er ' ml * r Auflosung anzugeben, bei dem das Auftreten von Fading-Artefakten vemtieden wird 
[0008] Dieses Z.el wird durch ein Verfahren mit den Merkmalen des Anspruches 1 , ein Fluoreszenzmikroskoo mit 
tZZTT^TT 6 : 1 ? . C ™^*™ mit den Ma ^ a - des Anspruches 1 8 und - 

[0009] Zur Steigerung der Ortsauflosung werden, wie oben beschrieben, digitate Kameras eingesetzt mit denen im 
sogenannten M.croscanning-Verfahren eine Mehrfach abtastung durchgefCihrt wird. Dabei wird entweder durch Ablen- 
Tr^l^Z T° r& re ' atiV Bi ' d ° der dUrCh Ab,enken daS strah| engangs relative zum Kamera-Sensoreine 
oder * * d6S abgetastet Q en Bilds erreicht ' Die sequentiell aufgezeichneten Teilbilder werden in der Kamera 

verre c r e an9e B " dreChner zw ^^ngespeichert und ansohlieBend zu einem Bild mit erhohter Auflosung 

l !S , E ^ indu "9^ u emaB wird die Durchfuhrung eines Intensitatsausgleichs vor Oder nach der Verschachtelung der 
MeBdaten durchgefuhrt, mit dem Ziel die He.ligkeits- und Farbunterschiede der einzelnen Teilbilder und deren Faro- 
kana e so auszugleichen, daB eine optimale Kompensation fur die Fluoreszenz-Aufnahmen entsteht. Dazu werden 
die zu den e.nzelnen Bildpunkten zugehorigen Intensitatssignale mit Verstarkungsfaktoren verstarkt. die von den Zeit- 
abstanden zw.schen den betreffenden Bildaufnahmen abhSngen. 

[0011] Die Zeitabhangigkeit der Verstarkungsfaktoren ist dabei im wesentlichen reziprokzu derZeitabhangigkeitder 
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Intensitat der Fluores/on/ 

[0012] Die Verstarkung dor /u den einzelnen Bildpunkten gehorigen Intensitatssignale kann zeitlich vor der Vereini- 
gung der zeitlich sequential aufgenommenen Aufnahmen erfolgen. Alternativ ist es moglich, daB die zeitlich sequentiell 
aufgenommenen Aufnahmen /unachst zu einem Gesamtbild hoherer Auflosung zusammengesetzt werden und nach- 
folgend die zu den Bildpunkten oes zusammen gesetzten Bildes gehorigen Signale verstarkt werden. 
[0013] Die Verstarkungsfakioren konnen durch Mittelung der Signale in den einzelnen sequentiell aufgezeichneten 
Aufnahmen ermittelt wcrdon Vorteilhaft ist es jedoch, wenn die Verstarkungsfaktoren durch Mittelung der Signale in 
Teilbereichen der einzelnen sequentiell aufgezeichneten Aufnahmen erfolgt. Die Segmentierung der Teilbilder nach 
den fluoreszierenden Objckton und die Steuerung der Verstarkungsfaktoren in Abhangigkeit von fluoreszierenden 
Objekten und Hintergrund licfcrt eine weitere Verbesserung. Dabei kann die Segmentierung durch einfache Mittel einer 
Schwellenabfrage zur Untorscheidung von Hintergrundleuchten und fluoreszierenden Objekten erfolgen, aber auch 
nach aufwendigeren Verfahren wic z.B. in der DE 1 001 7551 .1 beschrieben. Besonders bei niedrigem Rauschabstand 
wird eine weitere Verbesserung erzielt. 

[0014] Weiterhin ist es moglich. die Verstarkungsfaktoren fur die einzelnen sequentiell aufgenommenen Aufnahmen 
durch Approximation eines an das naturliche zeitliche Abschwachungsverhalten angenaherten Verlaufs der Intensitat 
der zur Fluoreszenz angeregien Stofle zu ermitteln. Ist das Abklingverhalten der Fluoreszenz des verwendeten Wirk- 
stoffs bekannt und erfolgt oie Aufnahme der versetzten Teilbilder in einem festen Zeitraster At, so kann im idealen Fall, 
diese Vorschrift direkt fur die Kompensation des Fading-Effekts und die Bestimmung der Verstarkungsfaktoren genutzt 
werden. In der Regel weracn aber die Parameter der Abklingkurve Schwankungen von Probe zu Probe unterliegen. 
Eine weitere Verbesserung ethait man jedoch, wenn man die Kenntnis des grundsatz lichen Abklingverhaltens eines 
Wirkstoffs, z. B. entsprechend der Exponentialfunktion, zur Bestimmung der realen Abklingkurve verwendet und so 
den EinfluB der statistischen Schwankungen der MeBergebnisse mindert. Aus den mittleren Schwachungswerten der 
einzelnen Teilmessungen werden durch Approximation die Parameter der idealen Abklingkurve bestimmt. 
[0015] Bei einer vortcilhaftcn Ausfuhrungsform werden die einzelnen seitlich sequentiell aufgenommenen Aufnah- 
men in Bildbereiche segmenlicrt und die Signale, die zu Bildpunkten unterschiedlicher Bildbereiche gehoren, mit un- 
terschiedlichen Verstarkungsfaktoren verstarkt, und die Signale, die zu Bildpunkten des selben Bildbereiches gehoren, 
mit identischen Verstarkungsfaktoren verstarkt werden. 

[0016] Besonders vorteilhaft ist der Einsatz der Erfindung, wenn als Digitalkamera fur die Bildaufnahmen eine 
Farb-CCD-Kamera eingesetzt w»rd da dann aufgrund der relativ langen Belichtungszeiten die Ausbleicheffekte be- 
sonders stark sind. Bei Einsatz einer Farbkamera erfolgt dabei die Verschiebung zwischen dem Bild und der Kamera 
derart daB ein und der selbe Punkt des Objektes zeitlich sequentiell auf unterschiedliche Farbkanale des selben 
CCD-Pixels der Kamera abgebildet wird. 

[0017] Es kann zweckmaBiq sein. fur die verschiedenen Farbkanale unterschiedliche Verstarkungsfaktoren anzu- 
wenden. 

[0018] Das erfindungsgemaBe Verfahren ist besonders vorteilhaft auch bei Mehrfachfluoreszenzen anwendbar, 
wenn also im abgebildeten Praparat mehrere bei unterschiedlichen Wellenlangen fluoreszierende Stoffe enthalten 
sind, die simultan durch das verwendete Anregungslicht zur Fluoreszenz angeregt werden. Es konnen unterschiedliche 
Verstarkungsfaktoren fur die einzelnen Emissionen unter Berucksichtigung der spektralen Empfindlichkeitskurven der 
Farbkanale der Kamera ermittelt werden. 

[0019] Die Ermittlung der Verstarkungsfaktoren fur die einzelnen Emissionen kann durch Losen eines linearen Glei- 
chungssystems erfolgen. Alternativ ist es moglich, fur die Ermittlung der Verstarkungsfaktoren fur die einzelnen Emis- 
sionen Verfahren der Fuzzy Logig oder Verfahren der Neuro-Fuzzy-Logig anzuwenden, also Verfahren, bei denen 
anstelle von festen Beztehungen in Form von Gleichungen unscharfe Beziehungen in Form von Relationen als Ermitt- 
lungskriterien zugrunde gelegt weroen 

[0020] Die einzelnen Emissionen konnen dann nachfolgend als Falschfarben dargestellt werden. 
[0021] Die Erfindung ist vorteilhaft in Verbindung mit einem Fluoreszenzmikroskop mit einem optischen Beleuch- 
tungssystem, einem optischen AbbildungssysLem, einem Bildaufnahmesystem und einem Rechnersystem einsetzbar, 
wobei das Rechnersystem zum Ausfuhren der betreffenden Korrekturund Uberlagerung der Teilbilder ausgebildet ist. 
[0022] Die Erfindung kann hardwaremaBig oder softwaremaBig in einem Rechner implementiert sein. 
[0023] Ziel der Erfindung ist es. die Verstarkungsfaktoren fur die Farbkanale der einzelnen Teilbilder so zu bestim- 
men, daB die Intensitat der Farbkanale Ciber alle Teilbilder nach der Kompensation gfeich ist und somit bei der Ver- 
schachtelung keine storenden Artcfaktc cntstehen. Dabei ist die Art der Verschachtelung der R-G-B-Sensoren und 
die Reihenfolge mit der die einzelnen Teilbilder gewonnen werden von untergeordneter Bedeutung. Die Ertfindung ist 
jedoch auch bei Grauwertbildern anwendbar, indem entsprechend nur ein Kanal pro Teilbild verarbeitet wird. 
[0024] Wird das Verfahren auf bereits verschachtelte R-G-B-Bilder angewendet, ist jedoch in Kauf zu nehmen, daB 
bei gegebenen CCD-Arrays haufig jeweils 2 Bildpunkte im grunen Kanal bei der Verschachtelung uberlagert werden 
und somit nicht mehr einzeln getrennt und korrigiert werden konnen. 

[0025] Die Kompensation des Intensitatsabfalls durch einfache Verstarkung fuhrt in der Regel zu einer Anhebung 
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des Bildrauschens. Es ist daher zweckmaBig, zusatzlich zum Ausgleich der Helligkeit der einzelnen Teilbildern eine 
Optim.erung des Bildrauschens durchzufuhren. Entsprechende Verfahren Verfahren zuradaptiven. rauschoptimierten 
FHterung sind aus der Literatur, z.B. aus William A. Pratt: Digital Image Processing, 1978. John Wiley & Sons Inc 1 
New York bekannt. ~ ' J ' 

s [0026] Nachfolgend wird die Erfindung anhand der Rguren im Detail beschrieben; dabei zeigen: 

Figur 1 : ein Mikroskop mit Kamera und Rechnersystem zur Ausfuhrung der Erfindung in der Fluoreszenzmikro- 
skopie; 

Figur 2a: eine schematische Darstellung von CCD-Arrays mit einer Anordnung der Farbmaske und dem Laufwea 
10 zur Aufnahme von Teilbildern, y 

Figur 2b: eine schematische Darstellung der Abtastung im Co-Site-Sampling-Verfahren mit zusatzlich dreifacher 
Auflosung, 

Figur 3: ein Blockschaltbild fur die Verschachtelung von Teilbildern; 
Figur 4 : ein Diagramm des Abfalls der Intensitat wahrend eines Microscanns; 
'5 Figur 5: ein Diagramm fur die Approximation der gemessenen Intensitaten durch eine Exponentialfunktion- 
Figur 6: ein Blockschaltbild einer erweiterten Fading-Kompensation; 
Figur 7: Segmentierte Bildbereiche; 
Figur 8: Selektionskurven der Farbkanale, und 

Figur 9: ein Blockschaltbild eine Ausschnitts eines Rechenwerkes zur Kanaltrennung 

[0027] Das in der Figur 1 dargestellte System besteht aus einem Mikroskop (1 ) mit einem motorisch verstellbaren 
Praparattisch (2), einer Videokamera (3) und einem Bildverartoeitungsrechner (4) mit einem daran angeschlossenen 
Monitor (5), der zur Bilddarstellung dient. 

[0028] Die Erzeugung von Farbbildern ohne zusatzliche Interpolation erfolgt nach dem Color-Co-Site-Verfahren mit 
emer Farbmaske entsprechend Figur 2a. Dort sind mit R, G und B die rot-, gain- und blauempfindlichen Farbpixel 
angedeutet. Fur das Color-Co-Site-Verfahren werden vier Einzelbilder benotigt. die durch eine Verschiebung des Auf- 
nahmesystems relativ zum aufzunehmenden Bild - oder des aufzunehmenden Bildes relativ zum Aufnahmesystem - 
in vier nachemanderfolgenden Schritten urn jeweils einen Rasterpunkt in x - und y-Richtung, entsprechend dem Lauf- 
weg — 1 -2-3-4- aufgenommen werden. Daraus resultiert eine Vervielfachung umm e xn =2x2 = 4 Teilbilder 
[0029] Zur Aufnahme von mikroskopischen Bildern mit hoher Auflosung wird zusatzlich das sogenannte "Microscan- 
ning"-Verfahren zur Erhohungder Dichte der Bildabtastung und damit der Auflosung des Bildsystems eingesetzt Dabei 
wird durch die relative Versetzung von CCD-Sensor und Strahlengang der mikroskopischen Abbildung also eine Ver- 
setzung der abgebildeten Objektdetails relativ zur Sensed lache des CCD-Sensors zwischen den Teilbildern eine Mehr- 
fachabtastung des Objekts erzielt. Allgemein erhalt man aus m r x n r Einzelbildern P t (x,y) das hochaufgeloste Uberla- 
gerungsbild P(x,y), wobei die laterale Auflosung im zusammengesetzten Bild dem mr- bzw. n r -fachen der lateralen 
Auflosung der Einzelbilder entspricht. 

[0030] Zur Verdeutlichung ist ein moglicher Ablaut der Verschiebungen bei dreifacher Auflosung und qleichzeitioer 
Anwendung des Color-Co-Site-Verfahrens in Figur 2b dargestellt. Das Gitterstellt das uber das Bild gelegte Abtastra- 
ster dar Der verstarkt gezeichnete Schenkel bezeichnet eine Ecke des CCD-Arrays mit der dort angeordneten rot- 
empfmdlichen CCD-Zelle. Das Array wird in 6x6 Schritten jeweils urn ein Rasterfeld des Abtastrasters relativ zum Bild 
verschoben und in 36 einzelnen Datensatzen, die jedes ein Teilbild darstellen, ausgelesen. Urn einefehlertreie Ober- 
lagerung der zeithch nacheinander gewonnenen Teilbilder zu emalten, durfen sich die Objektdetails relativ zueinander 
wahrend der gesamten Aufhahmezeit der Serie der Teilbilder nicht bewegen. 

[0031] Eine Veranderung der Intensitat ergibt sich aber zwangslaufig bei der Aufnahme von Fluoreszenz-Bildern 
Die Leuchtkraft der emittierenden Bereiche bleicht mit der Zeit aus. So wird zum Beispiel bei der Aufnahme von mit 
dem Marker "Oregon Green 488" angeregten Zellen , die Intensitat der Fluoreszenz in der Aufnahmezeit von 20 sec 
urn 50% geschwacht. Die Schwachung hangt dabei von den jeweiligen Randbedingungen — Lichtintensitat freie 
Rad.kale, u.s.w. - ab. Fugt man die einzelnen Teilbilder entsprechend der versetzten Abtastung zu einem Gesamtbild 
zusammen, so erhalt man aufgrund der unterschiedlichen Indensitaten Artefakte im Bild. Bei einer Auslesefolqe nach 
benachbarten Elementen in derZeile und anschlieBendbenachbartenZeilen, treten bevorzugt Artefakte in Zeilenrich- 
tung, in der Regel helle und dunkle aufeinander folgende Bildstreifen in Zeilenrichtung auf 

[0032] Durch das erfindungsgemaBe Verfahren zur Kompensation der Intensitatsunterschiede bei abklinqender 
Fluoreszenz wird die Darstellung eines artefaktfreien Fluoreszenzbildes in hoher Bildgute moglich Wie in der Fiqur 3 
dargestellt werden die Intensitatswerte der einzelnen Teilbilder (P1 , P2, ...Pn) vor oder nach der Verschachtelunq mit 
Verstarkungsfaktoren (V) multipliziert. a 
[0033] Bei einer Fluoreszenzaufnahme ist die Intensitat des emittierten Lichts proportional der Menge der Fluoro- 
phor-Konzentration. Da die Anzahl der Leuchtkorper in der Regel entsprechend einer Exponentialfunktion abnehmen 
nimmt auch die Intensitat des Bildes entsprechend einer Exponentialfunktion ab. Dies ist in Figur 4 fur neun Teilbilder 
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beispielsweise dargestellt. Die Halbwertszeiten bzw. die Schwachungskonstante 1/t 0 fur verschiedenen Wirkstoffe, 
auch Marker genannt, sind in der Regel bekannt oder konnen durch Messung bestimmt werden. 
[0034] Fur die Intensitaten l t eines Objektes zum Zeitpunkt t gilt mit der Anfangsintensitat l 0 



Wo* 



10 



und fur die Bildpunkte des Teilbildes, gemessen zur Zeit t ergibt sich 



Gl. (1) 



p t (x,y)= P 0 (x,y) e 



Gl. (2) 



'5 [0035] 1st die Schwachungskonstante bekannt, so kann man die Abschwachung der einzelnen Teilbilder durch die 
Verstarkung V t kompensieren, 



Gl. (3) 



[0036] Fur das einzelne kompensierte Teilbild erhalt man somit 



P,(x,y) = V t P, (x,y) 



Gl.(4) 



bzw. fur diskrete Bildpunkte k,1 



P g (k 9 I) = V t P t (k,l) 



Gl. (4a) 



[0037] Bei einer Steigerung der Auflosung urn den Faktor m r in x-Richtung und n r in y-Richtung erhalt man bei der 
'5 Verschachtelung von insgesamt m * n Teilbildern der GroOe K * L ein Gesamtbild der GroBe M * N 

M = mK=m c m r K und N = n K = n c n r L 

und fur die diskreten Bildpunkte i j erhalt man 



P(i,j) = *£P lv>l (kJ) mit i = m(k-l) + J u, 

m t n. 

j = n(l-\) + v; 



oder 



k = 
1 = 



i-l 
m 



floor 



floor 



Gl. (5) 



+ 1, u = i-m(k-l), 



+ \, v = y-«(/-l); 



[0038] Liegt die Abschwachungskonstante nicht explizit vor, so kann diese nach verschiedenen Verfahren nahe- 
rungsweise aus den gemessenen Daten der Teilbilder bestimmt werden. Beispiele hierfursind: 
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Mittelwert der Teilbilder 

[0039] Unter der Annahmc. daG die Intensitat der drei FarbkanalP R fi r n=>^K w«™ i • u o ._ .. 

01(6) 

S E " ,sprech *'" 3 k ™ *> »' * """men F»ftkanal. R(k,l), G(k,l) u „d B(k.l) und Pixel (kj) beMimmt 
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I G ,=G,=-XC,(kJ) G1(6a) 

7 * = ^Zw) 
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[0041] Bei gleichem Abklingverhalten fur alle Farbkanale konnen die Quotienten aus der Intensitat ein es F*rhi^n a i 

ssr de r Anfan9sinM,des ^ 



V, =3 ( Il + ^l + Il 
\Rq gq bo 



35 V Gn Rn OL ( 7 ) 



Bestimmung des mittleren Schwachungskoeffizienten 

[0043] Entsprechend der Formel Gl.(6) werden die Intensitaten der einzelnen Teilbilder und hieraus dip ^h«, a 
chungswerte l/l 0 als Quotient aus der Intensitat zur Zeit t und der Intensitat zur 2ei t berechnet Geh 

T EXP ° nentialfUnk,i - «■ - •«"" m-n die Reihe der ^^SZ^ZLZ Teit- 
b.lder durch d» e-Funkt.on, entsprechend Gl.(1) approximieren und die Konstante t 0 so bestimmt ("fitted daB i dl 
gemessenen Schwachungswerte moglichs, gut angenahert werden (Figur 5). Entsprechende Verfi re zu Approx^ 

bTn^^anr:^ 

Bestimmung des Schwachungskoeffizienten durch S egmentieruno derfluoreszierenden Oh j^ 

milder zSLlT'f TT f^" 8 " SMC " SiCh lnten8,at im wesentlichen innerhalb des Objektes selbst 
mit der Zeit ab. Die Intensitat des Hintergrundes bleibt dagegen relativ konstant Durch Pin« ninh a i„ « 
mil einem einheitlichen Verstarkungsfaktor fur das gesamte Bi.d kfinne Silr„S^T^ 
t^roT^^T^ Bildh ^ergrundes bei der Ermittlung J^SS^^^^^ 
tors zugrunde gelegt wrd. E.ne weitere Verbesserung der Kompensation kann erreicht werden, wenn in e Sen rSld 
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die fluoreszierenden Objekte in einem vorgelagerten Segmentierungsschritt (6), siehe Figur 7, segmentiert werden 
und in einem nachfolgenden Maskierungsschritt (7) eine Maske der segmentierten Bildbereiche gebiidet wird. Mit Hilfe 
der gebiideten Maske werden dann auch aus den nachfolgenden Teilbildern nur diejenigen Bildbereiche fur die Ermitt- 
lung der Verstarkungsfaktoren V, zur Kompensation der Abschwachung herangezogen, die den segmentierten Berei- 
chen des ersten Teilbildes entsprechen. Entsprechend werden dann bei der nachfolgenden Verschachtelung derTeil- 
bilder auch nur die Intensitaten in den maskierten Bildbereichen entsprechend verstarkt, wahrend fur den Bildhinter- 
grund ein Verstarkungsfaktor V = 1.0 verwendet wird. Eine Bestimmung von lokal abhangigen Verstarkungsfaktoren 
fur den Hintergrund ist naturlich auch moglich. 

[0045] Die Segmentierung kann zum Beispiel durch eine einfache Sen wellwertabf rage erfolgen. In der Regel wird 
man jedoch Verfahren unter Verwendung von lokalen Mittelwerten und lokaler Varianz verwenden . Derartige Verfahren 
sind beispielsweise in Bernd Jahne, et. al.: Handbook of Computer Vision and Applications, 1999, Academic Press, 
London beschrieben. Eine besonders hohe Sicherheit in der Bestimmung der Objektgrenzen laGt sich mit den in der 
DE 10017551 .1 vorgeschlagenen Methoden erzielen. 

[0046] Grundsatzlich kann die Segmentierung fur jedes gemessene Teilbild durchgefuhrt werden. Es ist aber aus- 
reichend, nur anhand des ersten Teilbildes eine Segmentierung durchzufuhren und eine Objektmaske M(k,l) zur Kenn- 
zeichnung der Objekte zu erzeugen und diese fur alle weiteren Auswertungen und Berechnungen der Verstarkungs- 
faktoren zu nutzen. Die Kompensation kann ebenfalls auf die segmentierten Objekte beschrankt bleiben. Urn jedoch 
zusatzliche Artefakte an den Objektgrenzen zu vermeiden, ist es vorteilhaft, entlang der Objektrander einen Uber- 
gangsbereich einzuTugen, in dem die Verstarkung von 1 auf V t ansteigt, wie dieses in Figur 7 dargestellt ist. Die Ob- 
jektmaske M(k ; l) wird dabei in die Verstarkungs matrix M t (k,l) ubergefuhrt. Fur das kompensierte Teilbild erhalt man 

P^^M^oP^kJ) Gl.(8) 



das Zeichen ° wird hier fur eine Multiplikation der einzelnen Elemente der Matrizen bzw. des Bildes benutzt 

[0047] Bei der Kompensation der abgeschwachten Emission in den einzelnen Teilbildern wird das gesamte Teibild 

oder ein Teilbereich des Bildes verstarkt. Mit der Verstarkung der Objekte wird gleichzeitig das Bild-Rauschen der 

o kompensierten Teilbilder angehoben. Dies fuhrt zu einem verstarkten Rauschen im verschachtelten Gesamtbild. Durch 
die Einfiihrung einer zusatzlichen Verarbeitungsstufe mit adaptiven Bildfilterung (8), zum Beispiel nach der Optimalfil- 
termethode. und zusatzlicher Steuerung des adaptiven Filter durch den Verstarkungsfaktor V t kann das durch die 
vorausgehenden Verfahrensschritte erhohte Bildrauschen wiederum kompensiert werden. Die hier zur Anwendung 
kommenden Verfahren zur adaptiven Filterung sind aus der Literatur bekannt und beispielsweise in William A. Pratt: 

5 Digital Image Processing. 1978, John Wiley & Sons Inc.].. NewYork beschrieben. 

Multikanal-Fluoreszenz 

[0048] Das Verfahren laBt sich auch auf eine gleichzeitige Multikanal-Fluoreszenz erweitern. Regt man das Objekt 
mit bis zu drei Markem an t die Licht in unterschiedlicher Wellenlange emittieren, so ist es moglich maximal drei Fluo- 
reszenz-Kanale zu unterscheiden und automatisch zu separieren. Voraussetzung dafCir ist jedoch, daB mehrere Emis- 
sionssignale nicht ausschlieRlich oder vorwiegend in einen Farbkanal fallen. Mit anderen Worten , bei drei unterschied- 
lichen Markern sollten die Emissionsschwerpunkte moglichst uber alle drei Farbkanale verteilt sein. Weiter wird davon 
ausgegangen, daB die spektralen Empfindlichkeitskurven der einzelnen Farbkanale in Abhangigkeit von der Wellen- 
5 lange bekannt sind. In Figur 8 sind die spektralen Empfindlichkeitskurven der einzelnen Farbkanale - Blau, Grtin, Rot 
- eines Aufnahmesystems schematisch dargestellt. Die in das Diagramm eingezeichneten Signale S 1 bis S 3 , z.B. die 
Fluorszenzlinien dreier Marker 1 . 2, 3, tragen mit den Transmissionskoeffizienten T xn zu den Farbkanalen bei. Dabei 
bezeichnet x den Farbkanal R, G ,B und n die Nummer des Signals oder Markers. Somit erhalt man zum Beispiel fur 
die Intensitat des roten Kanals R(k ; l) 

o 

R(k,l)= r fl1 S^k,!)*- T R2 S 2 (/c,/)+ T R3 S 3 {k,I) Gl. (9) 

[0049] Eine entsprechende Summe der Anteile ergibt sich fur die Intensitat des grunen Kanals G(k,l) und die Intensitat 
5 des blauen Kanals B(k,l). Die Glcichungen lassen sich mitderTransmissionsmatrixTvereinfachtals Matrix-Gleichung 
schreiben 
[0050] Mit 
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s } = 



R T l 
G T r 



R2 



G2 



B T, 



B2 



l R3 



L G3 



1 B3 



Rl 



Gl 



Bl 



*R2 



L G2 



1 R3 



l G3 



T T 
2 B2 2 B3 



s 2 = 



Rl 



Gl 



Bl 



R T, 



R3 



G Z 



G3 



b r, 



S3 



■Rl 



Gl 



L R2 



L G2 



L B2 



l G3 



L B3 
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Rl 



Gl 



Bl 



R2 



G2 



1 B2 



R 
G 
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L Rl 



Gl 



■51 



R2 



l G2 



B2 



L G3 



1 B3 



dabei sind S,, S 2 , S 3 und R, G, B Funktionen von (k,l) 

[0052] Die Ergebnisse der Gl( 1 2) lassen sich zusammenfassen 

Si(M = A Rl R(k f f) + A GA G(k,t) + A B , B(k,l); 
S 2 (t<,l)=A R2 R(k,f) +A G2 G(k,l) + A Bz B{k,f); 



S 3 (k,t)=A R3 R(k,l) +A G3 G(k,l) +A B3 B(k,l), 



Gl. (12) 



Gl. (13) 

S ^° aS F * rbbM * m Slch somit in dle Abbildungen der drei emittierenden Signale trennen Den einzelnen Si 
gnafen konnen dann Grauwerte oder Falschfatoen zuqeordnet werden n^hL.* J , u uen e,n2e,nen Sl ' 

[0054] Zur Kompensation des Fading -Effekts sind die zu unterschiedlichen ?e\t*n nom^^ t ,u 
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dann entsprechend den oben angegebenen Verfahren fur jedes fluoreszierende Signal getrennt Entsprechend werden 
die Verfahren zur Bestimmung der Verstarkungsfaktoren auf die einzelnen Signale bzw. deren Bilder angewandt. 
[0055] Die Realisierung der angegebenen Beziehungen ist mit speziellen Rechenwerken der Signaiverarbeitung 
moglich. Speziell fur die Trennung der einzelnen Emissionssignate Ia3t sich, wie in Figur 9 dargestellt, ein einfaches 
s Rechenwerk angeben, bei dem im Pipelineverfahren alle Rechenoperationen parallel ablaufen konnen. Ein solcher 
Pipelinerechner enthalt 9 Multiplikationsstufen und 6 Additionsstufen. Entsprechende Schaltungen sind fur die ubrigen 
Rechenschritte angebbar. Die Realisierung aller Funktionen ist aber ebenfalls mit handelsublichen Signalprozessoren 
oder auf einem Arbeitsrechner (PC) uber eine entsprechende Software moglich. 

[0056] Neben der Losung des angegebenen linearen Gleichungssystems kann bei stark verrauschten Signalen die 
10 Trennung der einzelnen Fluoreszenz-Kanale auch nach dem Prinzip eines " Fuzzy- Verfahrens" oder "NeuroFuzzy- 
Verfahrens" erfolgen. In diesem Fall werden dann fur die Trennung der Beitrage der einzelnen Marker zu den Gesamt- 
intensitaten der einzelnen Farbkanale keine linearen Gleichungen zugrunde gelegt sondern Ungleichungen oder Re- 
lationen, anhand derer Naherungswerte fur die Intensitaten der einzelnen Marker abgeschatzt werden. 

15 

Patentanspruche 




1. Verfahren zur Aufzeichnung und Darstellung von Fluoreszenzbildern mit hoher raumlicher Auflosung, bei dem 
mehrere Aufnahmen eines Bildes eines Objektes zeitlich sequentiell mit einer elektronischen Kamera aufgenorn- 
men werden und zwischen den Aufnahmen laterale Verschiebungen zwischen dem Bild des Objektes und der 
elektronischen Kamera vorgenommen werden, und wobei die Aufnahmen zu einem zusammengesetzten Bild 
hoherer raumlicher Auflosung vereinigt werden, dadurch gekennzeichnet, daB die zu Bildpunkten der Bilder 
gehorigen Signale, die zu unterschiedlichen Zeiten gewonnen werden, mit Verstarkungsfaktoren verstarkt werden, 
die von den Zeitabstanden zwischen den betreffenden Bildaufnahmen abhangen. 

-?5 

2. Verfahren nach Anspruch 1 , wobei die Zeitabhangigkeit der Verstarkungsfaktoren im wesentlichen reziprok zu der 
Zeitabhangigkeit der Intensitat der Fluoreszenz ist. 

3. Verfahren nach Anspruch 1 oder 2, wobei die Verstarkung der Signale vor der Vereinigung der zeitlich sequentiell 
w aufgenommenen Aufnahmen erfolgt. 

4. Verfahren nach Anspruch 1 oder 2, wobei die zeitlich sequentiell aufgenommenen Aufnahmen zunachst zu einem 
Gesamtbild hoherer Auflosung zusammengesetzt werden und nachfolgend die zu den Bildpunkten des zusammen 
gesetzten Bildes gehorigen Signale verstarkt werden. 

5. Verfahren nach einem der Anspruche t bis 4, wobei die Verstarkungsfaktoren durch Mittelung der Signale in den 
einzelnen sequentiell aufgezeichneten Aufnahmen bestimmt werden. 

6. Verfahren nach einem der Anspruche 1 bis 4, wobei die Verstarkungsfaktoren durch Mittelung der Signale in Teil- 
bereichen der einzelnen sequentiell aufgezeichneten Aufnahmen bestimmt werden. 

7. Verfahren nach einem der Anspruche 1 bis 4, wobei die Verstarkungsfaktoren fur die einzelnen sequentiell aufge- 
nommenen Aufnahmen durch Approximation eines an das naturliche zeitliche Abschwachungsverhalten angena- 
herten Verlaufs der Intensitat der zur Fluoreszenz angeregten Stoffe bestimmt werden. 

5 

8. Verfahren nach einem der Anspruche 1 bis 7, wobei eine adaptive Bildfilterung des zusammengesetzten Bildes 
zur Unterdruckung von Rauschen erfolgt. 

9. Verfahren nach Anspruch 6, wobei die einzelnen seitlich sequentiell aufgenommenen Aufnahmen in Bildbereiche 
o segmentiert werden und die Signale, die zu Bildpunkten unterschiedlicher Bildbereiche gehoren, mit unterschied- 
lichen Verstarkungsfaktoren verstarkt, und die Signale, die zu Bildpunkten des selben Bildbereiches gehoren, mit 
identischen Verstarkungsfaktoren verstarkt werden. 



10. Verfahren nach einem der Anspruche 1 bis 9 : wobei fur die Bildaufnahmen eine Farb-CCD-Kamera eingesetzt wird. 

11. Verfahren nach Anspruch 10, wobei die Verschiebung zwischen dem Bild und der Kamera derart erfolgt, daB ein 
und der selbe Punkt des Objektes zeitlich sequentiell auf unterschiedliche Farbkanale des selben CCD-Pixels der 
Kamera abgebildet wird. 
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FIG.8 
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